Detecting Pretraining Data in Large Language Models from a Free-Energy Perspective
从自由能视角检测大语言模型预训练数据
🧭 LLM 预训练数据检测 · 自由能视角
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China · Institute of Artificial Intelligence, Hefei Comprehensive National Science Center · College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics · iFLYTEK AI Research (Central China), iFLYTEK Co., Ltd
用预测熵修正似然得分，提出自由能检测 ETD，提升预训练数据成员推理的 AUROC 与鲁棒性
📌 工作参考价值（4 点）
- 在生成式推荐或 query 生成模型上线前，可用 ETD 做训练数据泄漏审计：同时取模型输出的 next-token loss 和预测熵，构造 loss 与 entropy 的倾斜边界，替代单纯困惑度，可降低对高频通用文本的误报，更准确识别是否见过用户历史或私域语料。
- 做推荐系统评测集污染检测时，把候选 item 描述或用户评论作为文本，计算模型预测该文本的 loss 和 entropy；若 loss 低且 entropy 也低则可能是被记忆的成员，熵校正能缓解“未见但高可预测”样本被误判的问题。
- 工程实现轻量：无需训练辅助模型或访问训练集，只需模型 logits 额外计算 token 级熵，容易嵌入现有线上推理链路做实时数据审计或隐私合规监控。
- 自由能视角提供的“宏观能量转移”可以作为监控指标：当模型在线上新数据上的标准化自由能分数出现异常偏移时，可能预示数据泄露、分布漂移或评测集被污染，可用于告警。